万字长文解读Scaling Law的一切，洞见LLM的未来
万字长文解读Scaling Law的一切，洞见LLM的未来近日，资深机器学习研究科学家 Cameron R. Wolfe 更新了一篇超长的博客文章，详细介绍了 LLM scaling 的当前状况，并分享了他对 AI 研究未来的看法。
来自主题: AI技术研报
6913 点击 2025-02-02 17:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，资深机器学习研究科学家 Cameron R. Wolfe 更新了一篇超长的博客文章，详细介绍了 LLM scaling 的当前状况，并分享了他对 AI 研究未来的看法。
Anthropic 的崛起是2024年全球 AI 产业最受瞩目的现象之一，它是 OpenAI 强有力的挑战者，令很多厌倦了 OpenAI 式虚张声势和夸大其词的 AI 研究者和开发者耳目一新。
对 AI 研究者来说，数学既是一类难题，也是一个标杆，能够成为衡量 AI 技术的发展重要尺度。近段时间，随着 AI 推理能力的提升，使用 AI 来证明数学问题已经成为一个重要的研究探索方向。
Ilya Sutskever（前 OpenAI 联合创始人兼首席科学家）在前几天召开的 NeurIPS 会议上表示，大模型的预训练已经走到了尽头。而 Noam Brown（OpenAI 研究员，曾带领团队开发出在德州扑克中战胜职业选手的 AI 系统 Pluribus）在近期关于 OpenAI O1 发布的采访中提到，提升 Test-Time Compute 是提升大模型答案质量的关键。
几个小时前，著名 AI 研究者、OpenAI 创始成员之一 Andrej Karpathy 发布了一篇备受关注的长推文，其中分享了注意力机制背后一些或许少有人知的故事。
BlueLM-V-3B 是一款由 vivo AI 研究院与香港中文大学联合研发的端侧多模态模型。该模型现已完成对天玑 9300 和 9400 芯片的初步适配，未来将逐步推出手机端应用，为用户带来更智能、更便捷的体验。
翁荔的技术博客深入、细致，具有前瞻性，被很多 AI 研究者视为重要的参考资料。如今，她离开了 OpenAI，开启新的征程。而且她表示，之后可能有更多时间频繁更新博客。
我们请到了边塞科技创始人 & CEO 吴翼。他一直活跃在 AI 研究的各个领域。2020 年，他辞去了 OpenAI 的研究员工作，回到清华叉院担任助理教授，并开启了自己的 AI 创业项目。
微软失去了一位人工智能专家，而 OpenAI 获得了一位，前者的生成 AI 研究副总裁塞巴斯蒂安·布贝克离开了微软，加入了后者。《信息》首次报道了这一消息，路透社也确认了微软的离职情况。
今年的诺贝尔物理学奖颁给了两位享誉盛名的 AI 研究者 John J. Hopfield 和 Geoffrey E. Hinton，这确实让很多人感到意外。